데이터 사이언스
더 많은 작업
- Data Science
- 최신 정보기술을 이용하여 빅데이터를 대상으로 비즈니스에 필요한 통계 분석 및 예측을 수행하는 학문 분야
데이터 사이언스는 데이터로부터 의미 있는 정보를 추출하는 학문이다. 분석 자체뿐 아니라 분석 결과를 효과적으로 구현하고 전달해 의사결정과 가치 창출로 이어지게 하는 과정까지 포함한다. ADsP 과목 1의 주요항목 '가치 창조를 위한 데이터 사이언스와 전략 인사이트'에서 다룬다.
- 통계 분석
- 비즈니스
- 정보기술(IT)
ADsP 교재에서는 구성 요소를 다음 세 영역으로 설명한다.
| 영역 | 내용 |
|---|---|
| Analytics(분석) | 수학, 확률 모델, 기계 학습, 분석학, 패턴 인식, 불확실성 모델링, 데이터 시각화 등 |
| IT(데이터 관리) | 시그널 처리, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징, 고성능 컴퓨팅 등 |
| 비즈니스 분석 | 커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화 등 |
이 세 영역은 데이터 사이언티스트에게 요구되는 역량(하드 스킬과 소프트 스킬)과 연결된다.
| 분야 | 주된 대상 | 범위 |
|---|---|---|
| 통계학 | 주로 정형화된 형태의 데이터 | 표본을 통해 모집단을 추론하는 이론과 방법 |
| 데이터 마이닝 | 대량의 데이터 | 데이터에서 패턴과 규칙을 찾는 분석 자체에 초점 |
| 데이터 사이언스 | 정형 데이터와 텍스트·이미지·로그 같은 비정형 데이터를 모두 포함 | 분석에 더해 분석 결과를 구현하고 전달해 가치를 만드는 과정까지 포괄하는 더 넓은 개념 |
빅데이터 분석이 기대만큼 가치를 내지 못하는 이유 가운데 하나는 분석이 업무별 일차원적 분석에 머무르기 때문이다. 일차원적 분석은 부서 단위의 업무 효율을 높이는 데는 도움이 되지만, 조직 전체의 경쟁 방식을 바꾸는 전략적 가치를 만들기 어렵다. 비즈니스 인텔리전스 도구를 갖추고도 전략 없이 과거 실적 보고에만 쓰면 같은 한계에 부딪힌다.
전략 도출 가치 기반 분석은 사업과 환경을 넓게 보고, 분석으로 얻은 인사이트를 경쟁 전략과 새로운 사업 기회로 연결한다. 일차원적 분석을 반복하며 역량을 쌓은 뒤, 분석의 초점을 전략적 과제로 옮겨 가는 것이 바람직하다.
| 산업 | 일차원적 분석 애플리케이션 예 |
|---|---|
| 금융 서비스 | 신용 점수 산정, 사기 탐지, 가격 책정, 프로그램 트레이딩, 클레임 분석, 고객 수익성 분석 |
| 소매업 | 판촉, 매대 관리, 수요 예측, 재고 보충, 가격 및 제조 최적화 |
| 제조업 | 맞춤형 상품 개발, 신상품 개발 |
| 에너지 | 트레이딩, 공급·수요 예측 |
| 온라인 | 고객 추천, 사이트 설계 |
| 병원 | 가격 책정, 고객 로열티, 수익 관리 |
| 정부 | 사기 탐지, 사례 관리, 범죄 방지, 수익 최적화 |
| 커뮤니케이션 | 가격 계획 최적화, 고객 보유, 수요 예측, 생산 능력 계획, 네트워크 최적화, 고객 수익성 관리 |
| 서비스 | 콜센터 직원 관리, 서비스-수익 사슬 관리 |
| 운송업 | 일정 관리, 노선 배정, 수익 관리 |
위 분류는 ADsP 교재 분류를 따른 것이다.
- 가정에 근거한 모델링 : 아무리 정량적인 분석이라도 모든 분석 모델은 가정 위에 세워진다. 가정이 현실과 맞지 않으면 결과도 틀어진다. 분석 과정에는 가정을 세우는 등 사람의 해석이 개입하는 단계가 반드시 있다.
- 해석의 주관성 : 같은 데이터와 같은 분석 결과라도 해석하는 사람에 따라 전혀 다른 결론을 낼 수 있다. 분석 결과를 전달할 때 해석의 근거와 한계를 함께 밝혀야 한다.
- 데이터 사이언스는 정형·비정형 데이터를 모두 다루고, 분석을 넘어 구현·전달까지 포괄한다는 점(데이터 마이닝·통계학과의 범위 차이)
- 구성 요소 세 영역(Analytics, IT, 비즈니스 분석)에 속하는 항목 구분(스토리텔링·프레젠테이션은 비즈니스 분석)
- 일차원적 분석 예를 산업과 짝짓는 문제
- 한계: 모든 분석은 가정에 근거하며 해석에 사람이 개입한다는 점
데이터 사이언스는 정형이든 비정형이든 가리지 않고 인터넷, 휴대전화, 감시용 카메라 등에서 생성되는 숫자, 문자, 영상 정보 같은 다양한 유형의 데이터를 대상으로 총체적 접근법(holistic approach)을 사용한다. 분석 기법 하나에 머물지 않고 데이터 수집·관리, 분석, 결과의 구현과 전달까지 전체를 하나로 본다는 뜻이다.
- "정형 데이터를 대상으로 총체적 접근법을 사용한다" 는 대상을 정형 데이터로 좁혀 틀리다. 주로 정형 데이터를 다루는 것은 전통적인 통계학 쪽이다.
데이터 사이언스는 수학·통계·IT 같은 과학 기술만으로 완성되지 않는다. 분석 결과의 의미를 해석하고, 사람과 사회를 이해하며, 그것을 설득력 있는 이야기로 전달하는 인문학적 통찰이 함께 필요하다. 그래서 데이터 사이언스는 과학과 인문학의 교차로에 서 있다고 표현한다.
교재는 기업 환경에서 인문학이 다시 주목받는 이유를 외부 환경 변화로 설명한다.
| 변화 | 의미 |
|---|---|
| 단순 세계화 → 복잡한 세계화 | 컨버전스(통합)에서 디버전스(다양화)로 바뀌어, 각 사회의 다양성과 정체성을 이해해야 한다 |
| 제품 생산 → 서비스 | 제품 자체보다 고객에게 얼마나 좋은 경험을 주는지가 경쟁력이 된다 |
| 생산 → 시장 창조 | 공급자 중심 생산에서 벗어나 현지 사회와 문화를 이해해 새 시장을 만들어야 한다 |